❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе
Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».
🔍 Как обнаружить
Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.
🛠Методы смягчения
• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.
• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.
• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.
⚠️Важно
• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.
• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.
❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе
Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».
🔍 Как обнаружить
Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.
🛠Методы смягчения
• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.
• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.
• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.
⚠️Важно
• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.
• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.
Telegram has exploded as a hub for cybercriminals looking to buy, sell and share stolen data and hacking tools, new research shows, as the messaging app emerges as an alternative to the dark web.An investigation by cyber intelligence group Cyberint, together with the Financial Times, found a ballooning network of hackers sharing data leaks on the popular messaging platform, sometimes in channels with tens of thousands of subscribers, lured by its ease of use and light-touch moderation.
Telegram announces Search Filters
With the help of the Search Filters option, users can now filter search results by type. They can do that by using the new tabs: Media, Links, Files and others. Searches can be done based on the particular time period like by typing in the date or even “Yesterday”. If users type in the name of a person, group, channel or bot, an extra filter will be applied to the searches.
Библиотека собеса по Data Science | вопросы с собеседований from it
